我们考虑随着延迟梯度的随机优化，在每次步骤$ $，该算法使用步骤$ t-d_t $的陈旧随机梯度进行更新，从而为某些任意延迟$ d_t $。此设置摘要异步分布式优化，其中中央服务器接收由工作人员计算的渐变更新。这些机器可以体验可能随时间变化而变化的计算和通信负载。在一般的非凸平滑优化设置中，我们提供了一种简单且高效的算法，需要$ o（\ sigma ^ 2 / \ epsilon ^ 4 + \ tau / epsilon ^ 2）$步骤查找$ \ epsilon $ - 静止点$ x $，其中$ \ tau $是\ emph {平均}延迟$ \ smash {\ frac {1} {t} \ sum_ {t = 1} ^ t d_t} $和$ \ sigma ^ 2 $是随机梯度的方差。这改善了以前的工作，这表明随机梯度体面可以实现相同的速率，而是相对于\ emph {maximal}延迟$ \ max_ {t} d_t $，这可以显着大于平均延迟，特别是在异构分布式系统中。我们的实验证明了我们算法在延迟分布歪斜或重尾的情况下的效力和稳健性。
translated by 谷歌翻译
机器可以学习机器学习吗？我们建议使用我们用来回答类似问题的相同标准回答这个问题：人类学习机器学习吗？我们在人类级别的机器学习介绍中自动回答麻省理工学院的期末考试。该课程是一个大型的本科课程，每个学期约有五百名学生。最近，计划合成和几乎没有学习的学习解决了大学级问题，在人类层面设定了数学和STEM课程的问题。在这项工作中，我们从期末考试中解决了与问题集不同的问题：问题更长，有多个部分，更复杂，并且跨越了更广泛的主题。我们在2017年秋季至2022年春季之间的八项麻省理工学院介绍最终考试中提供了一个新的数据集和基准，并提供了自动回答这些问题并产生新问题的代码。我们进行消融研究，比较零拍的学习与几乎没有的学习，经过思考链的提示，GPT-3在文本上进行了预训练，并且在一系列机器学习主题上进行了代码进行了微调，并发现了很少的照片学习方法表现最好。我们将数据和代码公开用于机器学习社区。
translated by 谷歌翻译
我们展示了在文本上预先培训的神经网络，并在代码上进行微调解决数学问题，通过程序合成解决了数学问题。我们将问题转化为编程任务，自动生成程序，然后从MIT的大型数学课程（单变微积分18.01，多变量计算18.02，微分方程18.03，概率和统计介绍18.05，概率和统计概要和统计概要和统计概要和统计概要和统计概要和统计概要和统计概要和统计概况概要和统计概要和统计概要和统计概率概述的大学级问题。 18.06，以及计算机科学的数学6.042）以及数学数据集的问题（在预先发生的地板，代数，计数和概率，数字理论和前进的问题上），最新数学问题的基准专门用于评估数学推理。我们探索提示生成方法，使变形金刚能够为这些主题生成问题解决程序，包括具有图的解决方案。我们在每个主题中的随机问题上生成正确的答案。我们量化了原始和转型问题之间的差距，并进行了调查以评估所产生的问题的质量和难度。这是在规模上自动解决，等级和生成大学数学课程问题的第一项工作，这代表了高等教育的里程碑。
translated by 谷歌翻译
湍流的分析是融合等离子体物理学中的重要面积。目前的理论模型基于某些等离子体密度结构的演变量化湍流程度，称为Blob。在这项工作中，我们通过在合成数据上训练掩模R-CNN模型和合成和实际数据测试的掩模R-CNN模型，跟踪这些BLOB在高频视频数据中的形状和位置。因此，我们的模型有效地跟踪了合成和真实实验GPI数据的BLOB结构，显示其前景作为估计与Tokamak等离子体的边缘湍流相关的BloB统计的强大工具。
translated by 谷歌翻译
2021-11-16
我们通过使用Openai的Codex进行计划综合解决大学级概率和统计问题，一个在文本上培训并在代码上进行微调的变压器。我们从MIT 18.05的课程问题转换为概率和统计信息和哈佛的Stat110概率转换为编程任务。然后，我们执行生成的代码以获得解决方案。由于这些课程问题在概率地基础上，我们往往的目标是具有Codex生成概率的程序，以模拟大量概率依赖项来计算其解决方案。我们的方法需要提示工程将问题从其原始表格转换为明确的，贸易的表格，导致正确的程序和解决方案。为了估计将原始问题转化为此易易表单所需的工作量，我们衡量了原始和转型问题之间的相似性。我们的工作是第一个推出大学级概率和统计问题的新数据集，并使用大型语言模型的程序综合能力以可扩展方式解决这些问题。
translated by 谷歌翻译
我们通过互动计划合成，解决了MIT的线性代数18.06课程和哥伦比亚大学的计算线性代数COMS3251课程。这种令人惊讶的强烈的结果是通过将课程问题转化为编程任务，然后运行程序来实现正确的答案来实现。我们使用具有零拍摄学习的Openai Codex，而不在提示中提供任何示例，以将代码从问题上扫描。我们量化原始问题文本与转换问题文本之间的差异，从而产生正确答案。由于所有COMS3251问题都不在线提供，因此该模型不会过度装备。我们超越了仅通过交互式生成代码来为数值答案产生问题的代码，这也导致视觉上令人愉悦的绘图作为输出。最后，给出了一些可以用作新课程内容的示例问题，自动生成新问题。这项工作是解决定量数学问题的重要一步，并通过机器打开了解决许多大学级干课程的门。
translated by 谷歌翻译
我们引进AlphaD3M，自动机器学习（AutoML）系统基于元加固使用序列模型自寓教于乐。AlphaD3M是基于编辑操作过机器学习管道原语提供explainability执行。我们比较AlphaD3M与国家的最先进的AutoML系统：Autosklearn，Autostacker和TPOT，在OpenML数据集。AlphaD3M实现竞争力的性能，同时一个数量级的速度更快，减少计算时间从几小时缩短到几分钟，并且是由设计可解释的。
translated by 谷歌翻译
亲属性验证是在两个人之间确定父子，兄弟姐妹或祖父母的关系，在社交媒体应用，法医调查，发现失踪的儿童和团聚家庭中都很重要。我们通过参加2021年在野外挑战中识别2021家庭来展示高质量的亲属验证，该家庭提供了该领域中最大的公共数据集。我们的方法是竞争中的前三名获奖条目之一。我们的专家和基础模型，Openai Codex撰写的模拟模型，培训了文本和代码。我们使用Codex来生成模型变体，并且还展示其能够生成特定关系的亲属验证任务的整个运行程序。
translated by 谷歌翻译
从连续流体流生成液滴需要精确调谐设备以找到优化的控制参数条件。它在分析上棘手，以计算产生优化液滴的液滴生成设备的必要控制参数值。此外，随着流体流动的长度尺度变化，地层物理和诱导流量分解成液滴的优化条件也会改变。因此，单个比例积分衍生控制器太低，无法优化不同长度尺度或不同控制参数的设备，而分类机学习技术需要数天捕获并要求数百万滴图像。因此，问题提出，可以创建一个单一的方法，该方法普遍优化多个数据点的多个长度液滴，并且比以前的方法更快？在本文中，贝叶斯优化和计算机视觉反馈回路旨在快速可靠地发现在不同长度级设备中生成优化的液滴的控制参数值。该方法被证明在仅2.3小时内仅使用60张图像的最佳参数值会聚到比以前的方法快30倍。两种不同的长度尺度设备演示了模型实现：毫师喷墨设备和MiCof流体设备。
translated by 谷歌翻译